目录导言PaimonCDCDemo说明Demo准备Demo开始总结导言MongoDB是一个比较成熟的文档数据库，在业务场景中，通常需要采集MongoDB的数据到数据仓库或数据湖中，面向分析场景使用。FlinkMongoDBCDC是FlinkCDC社区提供的一个用于捕获变更数据（ChangeDataCapturing）的Flink连接器，可连接到MongoDB数据库和集合，并捕获其中的文档增加、更新、替换、删除等变更操作。ApachePaimon(incubating)是一项流式数据湖存储技术,可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。PaimonCDCPaimonCDC

flink内存配置配置TaskManager内存|ApacheFlink

目录前摘一、认识Flink的Logo​编辑二、了解Flink的起源三、了解Flink的发展四、明白Flink的定位五、Flink主要的应用场景六、流式数据处理的发展和演变1. 流处理和批处理2.传统事务处理2.1传统事务处理架构​编辑3.有状态的流处理4.Lambda架构5.新一代流处理器七、Flink的特性总

系列文章目录Flink项目实战篇基于Flink的城市交通监控平台（上）Flink项目实战篇基于Flink的城市交通监控平台（下）文章目录系列文章目录4.智能实时报警4.1实时套牌分析4.2实时危险驾驶分析4.3出警分析4.4违法车辆轨迹跟踪5.实时车辆布控5.1实时车辆分布情况5.2布隆过滤器(BloomFilter)5.3实时外地车分布情况4.智能实时报警本模块主要负责城市交通管理中，可能存在违章或者违法非常严重的行为，系统可以自动实时报警。可以实现亿级数据在线分布式计算秒级反馈。满足实战的“实时”需要，争分夺秒、聚力办案。做的真正“零”延迟的报警和出警。主要功能包括：实时套牌分析，实时危险

文章目录MySQLCDC配置第一步:启用binlog1.检查MySQL的binlog是否已启用2.若未启用binlog第二步:设置binlog格式为row1.确保MySQL的binlog格式设置为ROW2.若未设置为row第三步:创建CDC用户MySQLCDCDataStreamAPI实现1.定义MySqlSource2.数据处理3.sink到MySQL参考MySQLCDC配置第一步:启用binlog1.检查MySQL的binlog是否已启用showvariableslike'%log_bin%';2.若未启用binlog打开MySQL配置文件my.cnf(MySQL安装目录的etc文件夹下)

目录        使用Flink处理Kafka中的数据前提： 一， 使用Flink消费Kafka中ProduceRecord主题的数据具体代码为（scala）执行结果二，使用Flink消费Kafka中ChangeRecord主题的数据          具体代码(scala)                具体执行代码①            重要逻辑代码② 执行结果为：使用Flink处理Kafka中的数据        前提：    创建主题 ：ChangeRecord    ，   ProduceRecord    使用

一.前言ApachePaimon最典型的场景是解决了CDC（ChangeDataCapture）数据的入湖，看完这篇文章可以了解到：1、为什么CDC入Hive迁移到Paimon？2、CDC入Paimon怎么样做到成本最低？3、Paimon对比Hudi有什么样的优势？ Paimon从CDC入湖场景出发，希望提供给你 简单、低成本、低延时 的一键入湖。本文基于Paimon0.6，0.6正在发布中，可提前在此处下载：https://paimon.apache.org/docs/master/project/download/二.CDC入HiveCDC数据来自数据库。一般来说，分析需求是不会直接查询数

目录1.Flink+Kafka保证精确一次消费相关问题？2.你们的Flink怎么提交的？使用的per-job模式吗？3.了解过Flink的两阶段提交策略吗？讲讲详细过程。如果第一阶段宕机了会怎么办？第二阶段呢？4.你是如何通过Flink实现uv的？5.Flink中的双流join怎么实现？6.Flink的checkpoint文件是保存在哪里,可以选择哪些？7.Flink维表关联怎么做的（应该是开发必做，建议提前准备）8.Flink数据倾斜是怎么解决的？9.Flink如何处理乱序数据?10.Flink内存溢出怎么办？11.Flink试过哪些优化？12.Flink的重启策略怎么设置的?13.Flin

flink是什么        是一个框架和分布式处理引擎，在无边界和有边界数据流上纪念性有状态的计算主要特性  1.批流统一         批处理：数据全部访问完成后进行操作                   有界、持久、大量，适合访问全套记录才能完成的工作，一般用于离线统计         流处理：来一条数据处理一条数据                   无界、实时，不需要操作整个系统        无界流(Datastream)：只有开始，没有结束，要以特定的顺序获取，并且获取后立即处理        有界流(DataSet)：开始结束都有，数据全部获取后执行，可以被排序    2

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第一章、Flink的容错机制Ⅰ、Flink的容错机制1.概念：Ⅱ、 状态的一致性：1.一致性级别：2.端到端的状态一致性Ⅲ、Flink容错机制的配置参数1.checkpoint.interval：2.checkpoint.timeout：3.checkpoint.max-concurrent-checks：4.checkpoint.min-pause-between-checkpoints：5.checkpoi